Keldysh được sinh ra trong một gia đình quý tộc Nga có truyển thống về học thức. Ông nội của ông, Mikhail Fomich Keldysh (1839–1920), tham gia quân đội và là một nhà vật lý, nghỉ hưu với quân hàm cấp Tướng. Bà nội của Keldysh, Natalia Keldysh (née Brusilova), là cháu gái của tướng Aleksey Alekseyevich Brusilov. Ông ngoại Keldysh, Alexander Nikolaevich Skvortsov, là tướng bộ binh, và đã từng tham gia chiến đấu trong Chiến tranh Kavkaz.

Cha của Keldysh, Vsevolod Mikhailovich Keldysh (1878–1965), là kỹ sư xây dựng, Thiếu tướng, và là giáo sư giảng dạy tại Viện công binh Kuybyshev từ năm 1918. Ông là một trong số các tác giả của phương pháp tính toán độ bền của bê tông dự ứng lực, và là người đã thiết kế trong dự án xây dựng kênh Moscow và tuyến tàu điện ngầm Moscow.

Một vài thành viên trong gia đình viện sĩ Keldysh là nạn nhân của các cuộc thanh trừng chính trị. Trong những năm 1930s, chú của ông đã bị chuyển đến công trường lao động xây dựng tuyến kênh đào Biển trắng-Biển Baltic. Năm 1935, đến lượt mẹ của Keldysh bị bắt giữ nhưng đã được thả chỉ sau vài tuần. Đây là một phần trong chiến dịch thu vàng bạc từ người dân, nhưng sau khi cha của Keldish mang tới nhà tù tất cả số trang sức mà gia đình ông có, một sĩ quan NKVD đã trả lại tất cả đồ trang sức này. Anh của Keldysh là Mikhail, một nhà sử học chuyên nghiên cứu về nước Đức trung cổ, đã bị bắt vào năm 1936 và bị xử tử vào năm 1937 do bị nghi ngờ là gián điệp cho Đức, trong khi một người anh khác là Alexander, cũng bị bắt vì bị nghi ngờ là gián điệp cho Pháp. Alexander sau đó đã được thả sau khi hết hạn tù giam.

Gây ảnh hưởng lớn nhất đến Keldysh là người chị gái Lyudmila Keldysh (1904–1976), cũng là nhà toán học và là người thầy dậy học đầu tiên của Keldysh. Trong số các người con của bà có Leonid Keldysh, giám đốc của Viện vật lý Lebedev và nhà toán học Sergei Novikov.